Nguồn gốc của cừu Jacob là khó xác định chính xác nhưng nó chắc chắn là một giống rất cổ xưa. Những loại cừu nhiều màu sắc đã được mô tả trong suốt lịch sử, xuất hiện trong các tác phẩm nghệ thuật từ vùng Viễn Đông, Trung Đông, và khu vực Địa Trung Hải. Một giống nhiều màu sắc của con cừu có thể tồn tại trong vùng Levant, đặc biệt trong khu vực mà ngày nay là Syria, khoảng ba ngàn năm trước. Trong số rất nhiều tài liệu của các giống cổ cừu lốm đốm là câu chuyện của Jacob từ cuốn sách đầu tiên của Kinh Thánh Hebrew và Kinh Cựu Ước. Theo sách Sáng Thế Ký (Genesis 30: 31-43), trong những gì có thể là nỗ lực ghi lại sớm nhất giống chọn lọc. Các giống kết quả có thể đã đi cùng với sự mở rộng về phía tây của nền văn minh của con người thông qua Bắc Phi, Sicily, Tây Ban Nha và cuối cùng vào đến Anh. Tuy nhiên, nó đã không được cho là một giống cừu riêng mãi đến thế kỷ 20 khi các giống được mua lại tên "cừu Jacob".

Một số lượng hạn chế của các bằng chứng gián tiếp từ các ghi chép lịch sử hỗ trợ cho một lý thuyết liên quan mà Jacob là một hậu duệ của những con cừu mỡ đuôi, một giống cừu cổ xưa từ vùng Lưỡng Hà (Mesopotamia). Các hồ sơ, tài liệu liên quan sớm nhất của con cừu mỡ đuôi được tìm thấy trong các thành phố Sumeria của Uruk cổ đại (3000 TCN) và Ur (2400 BC) trên bàn đá và khảm. Một tài liệu khác sớm để loài này được tìm thấy trong sách Lêvi (Leviticus 3: 9), nơi một vật hiến tế được mô tả trong đó bao gồm các con cừu đuôi mỡ.

Mặc dù các bằng chứng ít ỏi từ các ghi chép lịch sử, phân tích gene mới đây đã cung cấp bằng chứng thuyết phục hỗ trợ một liên kết trực tiếp giữa cừu Jacob và một số giống được cải ở Tây Nam Á và châu Phi chứ không phải giống cừu Anh khác. Các dấu di truyền cho các tác giả thấy rằng cừu phân tán trên khắp Âu Á và châu Phi thông qua ít nhất hai chuyến di cư riêng biệt. Con cháu của di cư đầu tiên bao gồm các con cừu Mouflon, cũng như các giống được cải tạo khác, chẳng hạn như những con cừu Ronaldsay Bắc, cừu Soay, và cừu đuôi ngắn Bắc Âu. Một đợt di cư sau này hình đại đa số các giống ngày nay.

Một số người tin rằng Jacob là một hậu duệ của một giống cận Bắc Cực của cừu được du nhập bởi những người Viking đến đảo Anh trong thời Trung Cổ. Người Na Uy được cho là đã du nhập một số loại các con chiên đến Bắc Âu và nước Anh giữa Vào cuối thế kỷ thứ tám đến giữa thế kỷ thứ mười một. Tuy nhiên, những con cừu được du nhập bởi Bắc Âu là của một loạt cừu đuôi ngắn có nguồn gốc từ một khu vực trải dài từ quần đảo Anh đến Baltic, được gọi là cừu Bắc Âu ngắn đuôi. Trong thực tế, tất cả các giống cừu Scandinavi thuộc nhóm cừu Bắc Âu đuôi ngắn. Người châu Âu đem cừu đuôi ngắn phía bắc là một nhóm các giống cừu và các giống bản địa bao gồm các cừu Phần Lan, cừu Iceland, cừu Romanov, cừu Shetland, cừu Spaelsau, và một số giống khác. Các con cừu Jacob mang chút giống với những giống cừu này. Các con Jacob là một giống đuôi dài, và do đó khó có thể liên quan đến bất kỳ giống được du nhập bởi những người Viking.

Một huyền thoại dai dẳng cho rằng các con cừu Jacob dạt vào bờ biển từ con tàu đắm ở Anh sau sự tàn phá của hạm đội Armada Tây Ban Nha trong năm 1588. Mặc dù thực tế rằng có rất ít nếu có bằng chứng đáng tin cậy để hỗ trợ tuyên bố này, cừu Jacob đã được gọi là "cừu Tây Ban Nha" cho phần lớn lịch sử đầu tiên của nó. Nó đã được lai tạo ở Anh trong ít nhất 350 năm, và phát hiện con cừu đã phổ biến rộng rãi ở Anh giữa thế kỷ thứ 18. Vào thời điểm đó, cừu Jacob đã thường lưu giữ như là vật trang trí chăn thả trong công viên. Trong những năm gần đây, cừu Jacob đã được sử dụng như bảo vệ con chiên ở Gloucestershire, theo cách của chó chăn cừu bảo vệ, để bảo vệ tài sản trang trại từ sự phá hoại.

Những con cừu Jacob đầu tiên được nhập khẩu vào công viên và vườn thú Bắc Mỹ vào đầu thế kỷ thứ 20. Một số cá nhân đã mua chúng từ các vườn thú trong những năm 1960 và 1970, nhưng giống này vẫn hiếm ở Mỹ cho đến năm 1980. Hầu hết dân số hiện nay của Mỹ Jacobs là hậu duệ của những cá thể được nhập khẩu tại thời điểm đó. Hiệp hội Jacob Sheep Breeders (JSBA), được tổ chức vào năm 1989, là sự kết hợp giống đầu tiên được thành lập ở Bắc Mỹ. Cừu Jacobs đã trở nên phổ biến trong những người nắm giữ đàn chiên nhỏ cũng như handspinners và thợ dệt.